昨天談順序。今天談長度。
模型的說明文件會寫一個數字:上下文視窗多少 token。那個數字是「塞得進去」的上限。今天的問題是:塞得進去,跟用得好,是同一件事嗎?
我目前把它寫成這樣:
上下文的可接收上限,不足以單獨保證指定任務的品質;可用輸入長度須同時符合資源限制與實測品質要求。
前提是:任務、品質門檻、模型、輸入的組成都先定好。「可用長度」是這些東西一起決定的,換一個,數字就換。
它也不是在說有效範圍一定遠小於硬上限。可以接近,也可以遠小於。未來的模型在接近上限時仍然達標,那就直接報告,不要改寫成「仍有未測出的必然退化」。
還有一條老規矩:沒跑過的實驗不能寫得像有結果;小樣本不能說成普遍現象。
標題說的三個界線,先講清楚。
第一個是能放多少:硬上限,說明文件上的那個數字。
第二個是能用多好:在某個長度,某個任務,品質有沒有達標。這個要實測,說明文件不會寫。
第三個是還要留多少:輸出也佔上下文。輸入塞滿,輸出就沒地方寫。
本律講的是第一和第二個之間的落差。第三個今晚沒測,記下來。
三份文件,內容是隨機組合的實驗室規則句,每九句混一句干擾句:「某活動固定在某時間,地點在某處」,活動與時間各不相同。真值句「實驗室的例行會議固定在每週四下午兩點」放在每份文件的正中段。
| 條件 | 行數 | 字數 | 干擾句 |
|---|---|---|---|
| S | 6 | 170 | 1 |
| M | 60 | 1,512 | 7 |
| L | 300 | 7,581 | 33 |
問題固定:例行會議是星期幾、幾點。
有一件事跟前幾天不同,要說明。文件沒有內嵌在提示詞裡,而是讓模型用讀檔工具讀一個固定路徑的檔案。三個長度都走同一條路,長度仍是唯一變因。這麼做是因為長文件塞不進我這邊的提示詞。
模型是 Claude Haiku 4.5,每個長度五次,共十五次。
輸出含「四」且含「兩點」就算對。錯的另記原文,看是不是被干擾句的時間吸走。程式判。
L 的正確率低於 S,就示範了「可接收不等於可用」:文件塞得進去,品質已經掉了。三組都五次全對,就如實寫:在 7.6k 字這個長度、單點檢索這個任務,品質沒有退化。不得改寫成「仍有未測出的必然退化」。
材料、判準、預期,在第一次呼叫之前提交進版本控制。
| 條件 | 正確 | 錯誤 |
|---|---|---|
| S 170 字 | 5 | 0 |
| M 1,512 字 | 5 | 0 |
| L 7,581 字 | 5 | 0 |
十五次全對。三十三句干擾句沒有吸走任何一次。
有一個旁證值得記:模型回報的用量,S 大約九萬三千 token,L 大約十萬兩千,差額跟文件長度相符。文件確實整份進了上下文,不是被讀檔工具截掉了。
落在事先寫的第二種。
本律說「上限不足以單獨保證品質」。它要求的是實測,不是預言退化。
今晚實測了三個點,三個點都沒退化。這是本律要的東西:一個實測的數字,而不是「說明文件說二十萬,所以二十萬都能用」。
但要講清楚今晚量到什麼。最長的文件 7.6k 字,大約九千 token,不到硬上限的百分之五。所以量到的是「這一段區間沒有退化」,量不到「有效範圍到哪裡」。原本計畫要測可用預算的 10% 到 90% 五個點,這條路徑塞不進那個量級的文件,沒做。
三十三句「某活動固定在某時間」,一句都沒有把模型騙走。
原因可能很簡單:真值句的主詞是「例行會議」,干擾句的主詞是「讀書會」「工作坊」「新生訓練」。問題問的是例行會議,主詞對上就找到了。干擾句的句型相同,但檢索線索很明確。
更難的干擾長什麼樣:兩句都提「會議」,一句是「例行會議」,一句是「臨時會議」。或者真值句本身被改寫過,不用「固定在」這個詞。本次沒測。
第一,三個長度點,最長不到上限的百分之五。 接近上限的行為未知。
第二,一種任務。 從文件裡找一句話。要整合多段、要追蹤前後修改的設定,是不同的任務,可能在更短的長度就掉。
第三,遞送方式不同於前幾天。 經讀檔工具,不是內嵌。三組一致,但跟第 7 到第 11 律的數字不能直接比。
這條律不太能被單一結果推翻,它是關於「怎麼決定可用長度」的陳述。能被推翻的是特定版本的假說:如果在接近硬上限時任務仍達標,那「有效範圍遠小於上限」在那個任務就不成立。今晚沒有測到那裡。
另一條路:如果 L 掉了,就示範了落差。今晚零次。
自己挑一句放在中間,問一次。
不用做十五次。挑一句你知道在文件裡的東西,放在你打算放的位置,問模型。答得出來,這個長度在這個任務上可用。答不出來,那個說明文件上的數字對你沒有意義。
紀錄表這次加的是一欄:「實測過的長度」。跟「說明文件上的長度」分開寫。
本文的協作紀錄是:三份文件、三份提示詞、判定程式與兩種事先情形在任何一次呼叫之前提交,之後未修改(材料字數的描述在呼叫前修正為實測值,材料本身未動);十五次輸出逐字保留,判定由程式執行。blueprint 原訂的五個比例點、多段整合與約束追蹤未執行。文章由 Claude 根據作者整理的寫作規則起草,作者尚未核對。這篇沒有做 Day 2 那種六個審查者的檢查。
下一篇談摘要讓你讀得更快,卻不會把丟掉的細節變回來。